dMitsuba 2/dt: Transporte de luz transitorio en Mitsuba 2

Una de las asunciones más establecidas en informática gráfica y visión por computador es considerar que la velocidad de la luz es infinita. La introducción de la femto-fotografía (captura de escenas a exposiciones efectivas de picosegundos) inauguró el campo de la imagen transitoria, donde se aprovecha la información codificada en el dominio temporal del transporte de luz para resolver problemas como la estimación de profundidad o visión de escenas ocluidas a través de esquinas. Estas técnicas de captura de imagen en estado transitorio requieren nuevas herramientas que permitan simular el transporte de luz a escalas comparables con la velocidad de la luz, eliminando las asunción de velocidad de la luz infinita. Uno de los mayores retos de la simulación de luz en estado transitorio es el drástico aumento del tiempo de ejecución de estos algoritmos.El objetivo de este trabajo consiste en generalizar el software de simulación de transporte Mitsuba 2 al estado transitorio. Mitsuba 2 es un renderizador estacionario basado en física, que incluye soporte para imagen multiespectral y polarización, así como ejecución vectorizada y en GPU. Generalizarlo a estado transitorio permite desarrollar un renderizador transitorio eficiente, que compense el dramático aumento del tiempo de convergencia de los algoritmos de simulación de luz en estado transitorio. Además, está adaptado para su uso como render diferenciable, permitiendo calcular la derivada de una imagen sintética respecto a cualquiera de sus parámetros.Este proyecto implementa las bases de la simulación de la luz en estado transitorio en Mitsuba 2. Para ello, implementamos el algoritmo de path tracing en estado transitorio sobre Mitsuba 2, incluyendo soporte para render espectral y polarizado y su ejecución en CPU de manera vectorizada. Finalmente, se usa el renderizador implementado para analizar efectos de la propagación de la luz solo visibles al considerar la velocidad de la luz finita. Este trabajo sienta las bases para el desarrollo de futuras extensiones a nuevos algoritmos de transporte de luz transitorios, nuevos modelos de interacción luz-materia resueltos en tiempo y mejores algoritmos de reconstrucción en el dominio temporal. Además, su modalidad diferenciable puede ser muy útil para nuevos problemas inversos que hagan uso de la imagen transitoria, como p.ej. ver a través de esquinas. <br /

Clustering bidireccional en iluminación global basada en puntos

La síntesis de imágenes fotorrealistas por ordenador, requiere modelar y simular de forma precisa las interacciones entre luz y materia. Para conseguir este realismo, no sólo se debe calcular la iluminación que proviene de las distintas fuentes de luz que iluminan la escena, si no que también se debe tener en cuenta la energía reflejada entre las distintas superficies, denominada iluminación global. A pesar de los grandes avances tecnológicos, la generación de este tipo de imágenes requiere de una gran cantidad de tiempo y recursos. En producciones cinematográficas este coste tiene un importante impacto debido a la complejidad de las escenas modeladas además de la necesidad de generar miles de fotogramas. Por ello, las productoras invierten millones de dólares en potentes clusters de cálculo para la generación de contenido digital de sus películas, siendo la investigación y desarrollo de nuevas técnicas un tema de gran interés. En los últimos años, han surgido técnicas capaces de calcular la iluminación global de forma aproximada. A pesar de ofrecer resultados aproximados, son lo suficientemente convincentes como para que sus errores pasen desapercibidos. Algunos de estos métodos simulan la luz reflejada por las superficies como un conjunto de luces virtuales (VPLs), calculando su contribución mediante una evaluación jerárquica de las mismas, agrupando VPLs similares como una única fuente de energía. Debido a su eficiencia, estas técnicas han sido extensamente utilizadas en multitud de producciones cinematográficas. A pesar de su eficiencia, estos métodos no escalan bien con el número de píxels a iluminar. Este hecho se agrava con las enormes resoluciones necesarias en la creación de contenido digital. La alta definición se ha convertido en un estándar y el contenido 3D se está implantando progresivamente, donde la generación de imágenes desde múltiples puntos de vista es necesaria. Sin embargo, las muestras generadas desde la cámara presentan una coherencia que puede ser explotada para aproximar la luz que reciben. En este proyecto se aborda el desarrollo de una nueva técnica para el cálculo de la iluminación global basada en VPLs, que explota las similitudes entre las muestras desde la cámara y las VPLs para reducir de forma adaptativa la cantidad de computación, mediante la evaluación jerárquica de las contribuciones de las luces sobre los puntos a iluminar. De esta manera, podemos desarrollar un algoritmo capaz de generar imágenes o grupos de imágenes de alta resolución con gran cantidad de elementos de iluminación con costes sublineales, tanto en el número de luces virtuales como en el número de píxels.

Transporte de luz transitorio en medios participativos

La simulación del transporte de luz en una escena mediante un ordenador es conocido como renderizado. Simular las interacciones físicas de la luz con la materia es una de las tareas más desafiantes en la informática gráfica. Medios participativos cotidianos como la niebla o la piel, interaccionan con la luz produciendo efectos muy interesantes. Para renderizar el transporte de luz en una escena según las propiedades de la materia, es necesario basarse en los modelos físicos que las definen, conllevando el uso de costosos algoritmos que los aproximan. El estudio del transporte de luz es un elemento clave a la hora de mejorar los algoritmos existentes. Los recientes avances en captura ultrarrápida de imágenes nos permiten observar luz en movimiento a escalas macroscópicas, permitiéndonos ver cómo se propaga e interacciona con la materia y dando lugar a numerosas aplicaciones. Esto demuestra que existe información de utilidad en el dominio temporal que hasta ahora no se había tenido en cuenta. En el campo del render, esta información temporal normalmente es descartada, asumiendo que la luz tiene velocidad infinita, y produciendo imágenes en las que la luz está propagada por toda la escena. Romper esta asunción y considerar la velocidad de la luz finita implica la definición de un modelo de transporte de luz transitorio, es decir, teniendo en cuenta el tiempo de propagación de la luz. Este proyecto se centra en renderizar el transporte de luz transitorio tanto en el vacío como en medios participativos, incluyendo el tiempo en los modelos tradicionales de transporte de luz. Para ello se ha implementado uno de los últimos avances en render de medios participativos, el algoritmo Photon Beams, y se ha modificado para incluir el tiempo de propagación de la luz considerando los efectos que tiene la inclusión del tiempo en las propiedades de los medios. Analizar el transporte de luz transitorio aumenta la complejidad del render, dado que estamos añadiendo una dimensión más al problema. Reducir la dimensionalidad de un problema es una estrategia apropiada para analizarlo, ya que simplifica los modelos matemáticos, reduce los costes de cálculo y permite representar la información de manera más intuitiva. Aplicado al transporte de luz, reducir la dimensionalidad espacial a 2D requiere reconsiderar su formulación. En este proyecto redefinimos las propiedades de los medios participativos para el transporte de luz en 2D y realizamos una adaptación 2D del algoritmo Photon Beams. Basados en este enfoque, analizamos el transporte de luz en el tiempo variando las características de los medios y observando los perfiles temporales de la propagación de la luz dentro de medios participativos. Estos análisis nos han permitido detectar limitaciones sobre algoritmos ya existentes, así como observar las desventajas de las técnicas de muestreo utilizadas en los algoritmos estacionario cuando intentamos aplicarlas al transporte de luz transitorio. Finalmente hemos podido comprobar cómo los distintos sistemas de representación y las propiedades de los medios afectan a cómo interpretamos el transporte de luz en una escena. Este trabajo se ha realizado dentro de un proyecto de investigación en el Graphics and Imaging Lab y en colaboración con Wojciech Jarosz, investigador jefe del grupo de rendering en Disney Research, Zürich. Los resultados de este proyecto serán sometidos a la conferencia internacional SIGGRAPH 2014. Adicionalmente resultados previos de este trabajo se presentaron en la Congreso Español de Informática Gráfica 2013

“Iluminando lo desconocido”: Desarrollo y producción de un corto de divulgación científica

Pese a los numerosos avances científicos en el último siglo, el interés por la ciencia por parte del gran público, así como su presencia en los medios de comunicación, sigue siendo limitado. Esto es debido a que la cultura científica sigue siendo relativamente baja y, aunque ciertos avances y personajes han traspasado la barrera del ámbito científico, en general la investigación científica continua siendo relativamente desconocida. Para ello, es notable el esfuerzo realizado por parte de la comunidad científica por acercar tanto la ciencia básica como los últimos descubrimientos. Dicha labor de divulgación se viene realizando en forma de jornadas y conferencias enfocadas a público no experto, libros, o animaciones en las que se tratan de explicar conceptos complejos de una forma simplificada e intuitiva. El presente proyecto se centra en ese último caso, y en particular se trata de desarrollar desde cero un corto en el que se explica un proyecto de investigación, haciendo especial énfasis en sus aplicaciones más espectaculares de cara al gran público. El objetivo es el desarrollo de un corto que explique los conceptos más básicos de una forma intuitiva, con una estética atractiva, con un público objetivo no necesariamente técnico. Basado en recientes ejemplos de gran éxito (por ejemplo, “Two Minutes Papers” o los vídeos en “PhD Comics”), se plantea explicar tanto el objetivo a futuro como la técnica a alto nivel con un lenguaje sencillo, y enfocado a su difusión a través de redes sociales. Para ello, en este proyecto se desarrolla todo el proceso de producción de un cortometraje animado de tres minutos de duración, desde el desarrollo de la historia y guion hasta el montaje y post-producción del mismo, pasando por el diseño del arte de concepto, el dibujo y animación, y la producción del audio

Modelado basado en física de la apariencia de plumas.

En este proyecto se presenta el desarrollo de un modelo general de apariencia de las plumas basado en física, basado en la estructura multiescala de estas, así como de los parámetros biofísicos que denen su interacción luz-materia. Para ello, se realiza un estudio exhaustivo en el campo de la ornitología de la estructura y mecanismos de coloración en las plumas de las aves, as como de los trabajos relacionados en informática gráfica sobre esta u otras estructuras similares, que permite obtener la información necesaria para el desarrollo del modelo. Además, se realiza la implementación de un software de modelado procedural de la geometría de estas sobre la cual podamos aplicar el modelo y la integración del modelo desarrollado en el motor de renderizado Mitsuba, que nos permita la generación de imágenes sintéticas de plumas. <br /

Efficient Methods for Computational Light Transport

En esta tesis presentamos contribuciones sobre distintos retos computacionales relacionados con transporte de luz. Los algoritmos que utilizan información sobre el transporte de luz están presentes en muchas aplicaciones de hoy en día, desde la generación de efectos visuales, a la detección de objetos en tiempo real. La luz es una valiosa fuente de información que nos permite entender y representar nuestro entorno, pero obtener y procesar esta información presenta muchos desafíos debido a la complejidad de las interacciones entre la luz y la materia. Esta tesis aporta contribuciones en este tema desde dos puntos de vista diferentes: algoritmos en estado estacionario, en los que se asume que la velocidad de la luz es infinita; y algoritmos en estado transitorio, que tratan la luz no solo en el dominio espacial, sino también en el temporal. Nuestras contribuciones en algoritmos estacionarios abordan problemas tanto en renderizado offline como en tiempo real. Nos enfocamos en la reducción de varianza para métodos offline,proponiendo un nuevo método para renderizado eficiente de medios participativos. En renderizado en tiempo real, abordamos las limitacionesde consumo de batería en dispositivos móviles proponiendo un sistema de renderizado que incrementa la eficiencia energética en aplicaciones gráficas en tiempo real. En el transporte de luz transitorio, formalizamos la simulación de este tipo transporte en este nuevo dominio, y presentamos nuevos algoritmos y métodos para muestreo eficiente para render transitorio. Finalmente, demostramos la utilidad de generar datos en este dominio, presentando un nuevo método para corregir interferencia multi-caminos en camaras Timeof- Flight, un problema patológico en el procesamiento de imágenes transitorias.n this thesis we present contributions to different challenges of computational light transport. Light transport algorithms are present in many modern applications, from image generation for visual effects to real-time object detection. Light is a rich source of information that allows us to understand and represent our surroundings, but obtaining and processing this information presents many challenges due to its complex interactions with matter. This thesis provides advances in this subject from two different perspectives: steady-state algorithms, where the speed of light is assumed infinite, and transient-state algorithms, which deal with light as it travels not only through space but also time. Our steady-state contributions address problems in both offline and real-time rendering. We target variance reduction in offline rendering by proposing a new efficient method for participating media rendering. In real-time rendering, we target energy constraints of mobile devices by proposing a power-efficient rendering framework for real-time graphics applications. In transient-state we first formalize light transport simulation under this domain, and present new efficient sampling methods and algorithms for transient rendering. We finally demonstrate the potential of simulated data to correct multipath interference in Time-of-Flight cameras, one of the pathological problems in transient imaging.<br /

Modelo óptico basado en física de la atmósfera terrestre

Reproducir la apariencia de la atmósfera ha suscitado gran atención en el campo de los gráficos por computador desde sur orígenes, por su importancia como fondo y fuente de luz. Por ello, numerosos modelos han sido propuestos, con distintos niveles de granularidad y detalle en el modelo atmosférico. En este proyecto presentamos un modelo óptico atmosférico basado en física, que a diferencia del trabajo previo es capaz de reproducir las variaciones espacio-temporales en la atmósfera y su efecto en la apariencia del cielo. Para ello, desarrollamos un modelo detallado de composición atmosférica basado en datos obtenidos por la comunidad de Ciencias Atmosféricas, y lo mapeamos a un modelo óptico utilizable dentro del marco de la Transferencia Radiativa. Finalmente, integramos nuestro modelo en un renderizador con soporte para transporte en medios participativos, añadiendo un conjunto de técnicas recientes para acelerar los cálculos. Nuestro modelo es espectral, y es capaz de mostrar los cambios debido a diferente situación geográfica

Computational Light Transport for Forward and Inverse Problems.

El transporte de luz computacional comprende todas las técnicas usadas para calcular el flujo de luz en una escena virtual. Su uso es ubicuo en distintas aplicaciones, desde entretenimiento y publicidad, hasta diseño de producto, ingeniería y arquitectura, incluyendo el generar datos validados para técnicas basadas en imagen por ordenador. Sin embargo, simular el transporte de luz de manera precisa es un proceso costoso. Como consecuencia, hay que establecer un balance entre la fidelidad de la simulación física y su coste computacional. Por ejemplo, es común asumir óptica geométrica o una velocidad de propagación de la luz infinita, o simplificar los modelos de reflectancia ignorando ciertos fenómenos. En esta tesis introducimos varias contribuciones a la simulación del transporte de luz, dirigidas tanto a mejorar la eficiencia del cálculo de la misma, como a expandir el rango de sus aplicaciones prácticas. Prestamos especial atención a remover la asunción de una velocidad de propagación infinita, generalizando el transporte de luz a su estado transitorio. Respecto a la mejora de eficiencia, presentamos un método para calcular el flujo de luz que incide directamente desde luminarias en un sistema de generación de imágenes por Monte Carlo, reduciendo significativamente la variancia de las imágenes resultantes usando el mismo tiempo de ejecución. Asimismo, introducimos una técnica basada en estimación de densidad en el estado transitorio, que permite reusar mejor las muestras temporales en un medio parcipativo. En el dominio de las aplicaciones, también introducimos dos nuevos usos del transporte de luz: Un modelo para simular un tipo especial de pigmentos gonicromáticos que exhiben apariencia perlescente, con el objetivo de proveer una forma de edición intuitiva para manufactura, y una técnica de imagen sin línea de visión directa usando información del tiempo de vuelo de la luz, construida sobre un modelo de propagación de la luz basado en ondas.<br /

Iluminación global mediante progressive instant radiosity

La generación de imágenes sintéticas por ordenador es una técnica fuertemente asentada hoy en día en industrias muy diversas, desde la producción cinematográfica a la arquitectura, pasando por los videojuegos y el diseño gráfico. En particular, la síntesis de imágenes fotorrorealistas es un campo de trabajo que recibe enorme atención debido a la complejidad del problema, ya que requiere una simulación físicamente correcta de todas las posibles interacciones de la luz con el medio. Los algoritmos más utilizados para abordar el problema están basados en el muestreo estocásticos de caminos lumínicos, y son capaces de aproximar el transporte de luz de una manera precisa, de modo que son capaces de generar imágenes sintéticas indistinguibles de la realidad. Sin embargo, estos algoritmos tienen un alto coste computacional y requieren tiempos de procesamiento muy largos para producir resultados libres del ruido (varianza) introducido como consecuencia de su naturaleza estocástica. Existe una variante de estos algoritmos estocásticos que aproximan la irradiancia dentro de una escena mediante luces virtuales, denominados instant radiosity. Estos algoritmos presentan una convergencia considerablemente más rápida a imágenes libres de ruido, lo que ha propiciado su adopción en sectores como la industrial del cine, de los videojuegos, así como en numerosos softwares de previsualización de CAD, en detrimiento de otras técnicas. No obstante, a pesar de que estas técnicas son capaces de dar resultados precisos, a menudo se les aplican aproximaciones sesgadas con el fin de evitar ciertos artefactos visuales que afectan fuertemente a la calidad visual de las imágenes producidas. De este modo, se introduce un compromiso entre la varianza y el sesgo introducido por las aproximaciones. En este trabajo proponemos un algoritmo progresivo de naturaleza consistente, que aunque sesgado, converge en el límite a una solución sin varianza y sesgo. Para ello, estudiamos los algoritmos existentes alrededor de la idea de many lights, analizando la varianza que produce los indeseables artefactos visuales, y evaluando qué métodos sesgados existen para reducir dicha varianza: clamping y blur en el dominio espacial. Después, proponemos aproximaciones progresivas que reducen el sesgo en cada iteración del algoritmo, de modo que convergen a una solución sin ruido o sesgo en el límite. Investigaremos las técnicas aplicadas en otras aproximaciones sesgadas de la iluminación global basadas en transporte estocástico de partículas, y las aplicamos en el contexto de la iluminación mediante luces virtuales. Finalmente, desarrollamos una implementación los algoritmos desarrollados y observamos su eficiencia en escenas reales, comparándolos con las técnicas preexistentes y planteando futuros caminos de trabajo

Framework para la Evaluación de Técnicas de Reconstrucción de geometría no visible

En la última década, la captura del transporte transitorio de la luz a trillones de fotogramas por segundo está teniendo un gran impacto en los campos de gráficos y visión por computador. La riqueza de la información en el perfil temporal, combinada con técnicas de imagen computacional apropiadas, hace posible recuperar vídeos de la luz en movimiento, capturar objetos a través de medios turbios, inferir propiedades materiales, o incluso ver a través de esquinas. Esta última aplicación, conocida como Non-Line-of-Sight imaging (NLOS), ha resultado ser de especial interés, con multitud de aplicaciones potenciales como apoyo en situaciones de rescate, seguridad en vehículos autónomos o endoscopia médica. No obstante, estas aplicaciones siguen lejos de ser realidad, con la mayoría prototipos de la tecnología funcionando tan solo en entornos controlados de laboratorio ideados para lograr ver superficies sencillas y aisladas a través de una esquina. En este trabajo modificamos un motor de render transitorio para crear un dataset sintético de 300 escenarios NLOS con complejidad variada y que publicamos para fomentar la colaboración con otros equipos de invesigación simplificando su tarea. Tenemos como objetivo proponer retos mucho más complejos a los que se han enfrentado los investigadores hasta ahora, buscando lograr mejoras significativas en los resultados que lleven NLOS imaging a aplicaciones prácticas en el mundo real. En consecuencia, buscamos poder evaluar resultados de diferentes métodos de reconstrucción, para lo que proponemos métricas que permitan compararlos de forma justa a datos de referencia. Además, esperamos que el dataset permita el uso de técnicas de aprendizaje automático en el campo. Finalmente, derivamos un nuevo método y mostramos sus resultados junto los dos métodos más representativos dentro del estado del arte de la visión a través de esquinas, verificando los datos de nuestro dataset.<br /